01 · 系统架构与脚本
已用 LBMA / 美国财政部 / FRED / ECB 真实数据回填 08-27→09-08 共 8 个交易日,详见 复盘/数据治理/真实数据重估_2026-09-09。
01 · 系统架构与脚本
分区页:从 00 驾驶舱(投资MOC) 拆出。要什么:管线怎么跑、哪个脚本干什么、状态面板怎么看。
返回入口:00 首页(从这里开始)
系统概览
原驾驶舱「系统概览」表(框架完整性 / 数据更新 / 债券腿 / 模拟盘 / Agent系统)。
| 维度 | 状态 | 数值 |
|---|---|---|
| 框架完整性 | ● | v5.2(二级源消盲区 + 未复权债券真实收盘 + 模拟盘空头/减仓腿 + A/B/C 机械证据;scripts 管线 + moc_index / arch_check 自检)→ v5.2 报告 |
| 数据更新 | ● | 原始数据已更新至 2026-10-01(自动快照已生成;人工收盘复盘待补) |
| 债券腿 | ● | AGG/TLT 未复权真实收盘已接入 L0-3(纳指官网 + 东财 fqt=0 双源交叉验证,数据/bond_xcheck.json;最新 09-24:AGG -0.48% / TLT -1.29%;单日差异 待验证) |
| 模拟盘 | ● | v5.2 已上线(空头腿 + reduce/close 执行 + L0 断路全平;最新净值 0.979029 / 现金 0.979029 / 当前空仓;样本不足 待验证)→ 📊 打开模拟盘看板 |
| Agent系统 | ● | 结构化预测台账 58 行(Brier 0.07857 vs 基准 0.13609,n=7,样本不足仅监控 待验证);方向预测按 regime 条件发布;A/B/C 机械证据:A=未达门槛(0 日)、A 退出历史已触发(07-22)、C 未达门槛(7 日)、B 固定「不可判定」(数据/pattern_abc.json) |
L0 当前 = 正常(L0-3 可评估):v5.2 二级源已消盲区——L0-2 VIX 由 CBOE 延迟报价 T+0 提供(09-24=15.67,+3.2%;前值 09-23=15.18 由 price_change 反推 待验证);L0-3 的 SPX -0.02% / NDX +0.03% 由东财
100.SPX/100.NDX100补目标日(与 FRED 重叠 80 日逐日一致),债券腿 AGG -0.48% 未复权真实收盘。二级源只补缺失值、不覆盖权威源(框架/数据口径定义 §十)。
真实数据重估结论(优先级最高)
⚠ 真实数据重估结论 —— 优先级高于本页其余内容
已用 LBMA / 美国财政部 / FRED / ECB 真实数据回填 08-27→09-08 共 8 个交易日,详见 复盘/数据治理/真实数据重估_2026-09-09。三条原结论被推翻:
| 原结论 | 真实数据下的结论 |
|---|---|
| 黄金 08-17→09-08 于 4,365~4,438 窄幅震荡(振幅 1.7%) | 真实区间 4,353~4,664,振幅 7.1%,含 09-01 单日 −4.59% |
gold_dxy_corr = 0.991 → 相关性失效 → C模式连续 17 个交易日 | 真实 corr(金,DXY) = −0.38 ~ +0.07,负相关仍在 → C 不成立(连续计数最高 9 日 < 10 日门槛) |
| Agent 预测 100%(连续 21 次) | 可证伪口径仅 3/8;「观望」型预测不可证伪,不作有效性证据 |
新增发现:① 失真起点是 08-19 而非 08-27(08-19~08-26 黄金偏离 LBMA −2.3%~−5.8%,已逐文件标注);② L0 断路器漏判 09-01 的 −4.59%(约 −3σ)极端行情。
→ 本页上方旧结论仅作错误结论追溯;2026-06-01→09-11 的校正版日复盘已重建。机械 L0/L1 以校正版为准,A/B/C 仍须独立事件证据,不能仅由价格相关性自动宣布。
〇、系统架构 v5.2
管线主线、脚本职责表、v4.0/v4.3/v4.2 变更说明。
管线主线:债券腿日更(fetch.py 内置) → 一键入口 → 12 源并发抓取 → 面板重建 → L0/L1/相关性 → Regime → Brier → 模拟盘 → G1/G8 闸门 → 发布 → 排版同步。
refresh_bond_etf.sh ──► 数据/bond_tlt.json + bond_agg.json
│(浏览器 fetch 直连 eastmoney,shell 被代理拒绝)
▼
fetch.py ──► dkfetch(12源并发) ──► dkpanel(面板) ──► dkanalysis(L0/L1) ──► regime_hybrid
│ │
└──────────────── G1/G8 发布闸门 ◄── paper_engine ◄── brier_calibration ◄───┘| 层 | 活跃脚本 | 职责 | 状态 |
|---|---|---|---|
| 入口 | fetch.py | 每日一键:抓取→面板→校验→分析→模拟盘→发布(--probe/--no-fetch/--force) | ● 核心 |
| 取数 | dkfetch.py | 12 数据源(LBMA/财政部/FRED/ECB/Nasdaq 日历),HTML/CSV/JSON 校验,run 归档 | ● 稳定 |
| 债券腿 | refresh_bond_etf.sh + update_bond_etf.py | v4.3 入管线:fetch.py 内置调用(--no-bond / DK_SKIP_BOND=1 可跳过),失败不阻断发布 | ● 已验证 |
| 排版自检 | doc_sync_check.py | v4.3 新增:校验驾驶舱/快照/run_log 与 latest.json 一致(13 项,v5.2.2 起覆盖 数据库说明.md §四 统计表与 §〇·五 分组计数),发布后自动跑,仅告警 | ● 已验证 |
| 索引(导航层) | moc_index.py | v5.1:扫描 复盘/** → 重写驾驶舱 AUTO:INDEX(§7.1 最新 + §7.2 全量);命名容错 + 重名/未登记告警 + --verify 可达性校验;fetch.py 发布后自动调用 | ● 已验证 |
| 写入入口 | review_write.py | v5.1 新增:复盘文件唯一合法写入入口(强制 复盘/ 根目录 + 规范命名 + 写入后自动登记与校验),根治"能写入但点不到" | ● 已验证 |
| 架构自检 | arch_check.py | v5.0 新增,v5.1 升 10 项,v5.2.3 升 11 项:死链/孤儿/地图计数/版本序/复核日期/归档数/驾驶舱直达 + state/current.md 可解析性监护;只读只告警 | ● 已验证 |
| 二级源 | fetch_aux_sources.sh + update_aux_sources.py + dkaux.py | v5.2 新增:东财美股指数 / CBOE 延迟报价,仅在权威源缺目标日值时启用;产出 数据/index_aux.json / vix_daily.json,标来源与 [待验证];逃生 --no-aux / DK_SKIP_AUX=1 | ● 已验证 |
| 债券真实收盘 | update_bond_etf.py --from-aux|--rebuild | v5.2 变更:AGG/TLT 改未复权真实收盘(纳指官网 > 东财 fqt=0),交叉验证 数据/bond_xcheck.json;自动识别旧复权文件并重建 | ● 已验证 |
| A/B/C 机械证据 | pattern_abc.py | v5.2 新增:A 连续日数 / A 退出观察 / C 相关性门槛;B 固定「不可判定」;写入 数据/pattern_abc.json + latest.json.pattern,不宣布因果 | ● 已验证 |
| 模拟盘空头/减仓 | paper_engine.py | v5.2 新增:空头腿 + reduce/close 执行 + L0 断路全平 + 同日幂等;真实账户 09-24 已 reduce 50% | ● 已验证 |
| 面板 | dkpanel.py | 原始响应→统一日频面板;NYSE/LSE 官方日历(DK_DISABLE_MCAL=1 应急回退) | ● 稳定 |
| 分析 | dkanalysis.py | L0 断路器(含 AGG 真实债券腿)/ L1 动量(5日+20日)/ 相关性 | ● 稳定 |
| Regime | regime_hybrid.py | wess_hmm 移植:5 态检测 + walkforward 共享核心(v4.0 去重 ~150 行) | ◇ 待验证 |
| 校准 | brier_calibration.py | Brier Score + 按 regime 分层(样本小 推断 级) | ◇ 待验证 |
| 模拟盘 | paper_engine.py | v4.1:再平衡到目标(容差带 2%)+ 止损/止盈卖出腿(止损优先于 min_hold);现金无状态推导 | ◐ 运行中 |
| 预测 | predict_regime_conditional.py | 按 regime/L1 条件发布区间与方向预测 | ◇ 待验证 |
| 归档 | scripts/legacy/ | 09-13 时代一键修复脚本(8 个,含 09-19 新增 calibrate.py / validate_0918.py,只读,不作为当前证据) | — 归档 |
| 源预检 | preflight.py | v1.8.0 新增:管线前轻量探测核心源(LBMA/财政部)与二级源(FRED/东财/纳指),输出单行 JSON core_ok/failed/suggest_skip_pipeline;只探测不写数据,core_ok=false → SOP 跳过完整管线走「数据缺失占位」;逃生 --force-pipeline;超时由 subprocess 硬兜底 | ● 已验证 |
| 自检三合一 | selfcheck.py | v1.8.0 新增:单进程内 import 调用 moc_index+arch_check+doc_sync,省 2 次解释器冷启动与 2 轮 agent 往返;不改变三者各自判定口径;输出单行 JSON + 汇总 rc | ● 已验证 |
| 素材摘要 | daily_summary.py | v1.8.0 新增:一次读 latest.json+state/current.md+复盘文件+open 预测,输出 ≤40 行素材(target/gate/L0/L1/regime/pattern/brier/paper/portfolio 三态/aux/fetch_failures/doc_sync),取代多次散读 JSON;只读 | ● 已验证 |
| 测试门控 | tests_gate.py | v1.8.0 新增:指纹 = sha256(scripts/*.py + tests/test_pipeline.py);未变→只跑快类、跳过重类;变了必须整类跑(每类独立子进程,禁止逐项);结果写 state/tests_cache.json(可断点续跑);逃生 --all/--only/--bisect/--status | ● 已验证 |
v4.0 稳定性加固:
- 测试解耦 —— 目标日=最后真实交易日,与"面板末行=交易日"巧合解耦(4 个过时测试修复,套件 10/10)。
- 模拟盘现金无状态化 —— 从订单文件按
filled+buy推导(消除_cash_delta隐式耦合,任何调用顺序/重复运行均幂等)。 DK_DISABLE_MCALkill-switch —— 低内存设备 mcal import+valid_days 可达 ~2.5 分钟,超时可用应急回退。- 转写错误修复 —— 日志换行符(
\\n→\n)、HTML 实体 no-op(<→<等)。 - 整洁度 ——
scripts/legacy/归档隔离 +__pycache__清理;optimization/统一收纳全部审计/优化报告(优化/已并入)。
v4.3 变更(2026-09-23,一次性优化,已达稳态):
- 债券腿正式入管线 —— 不再是"每日第 0 步手动操作":
fetch.py在面板构建前自动调用refresh_bond_etf.sh(子进程,480s 超时),失败永不阻断发布(债券腿滞后只是 L0-3 的已文档化降级)。逃生开关:--no-bond/DK_SKIP_BOND=1。 - 跨文件一致性自检 —— 新增
scripts/doc_sync_check.py,把"排版同步"从手工习惯变成11 项可校验条件(驾驶舱版本行/面板规模/AUTO 区块/快照存在与口径/工具箱链接/版本记录/run_log,数据库说明.md§四 统计表/驾驶舱 §〇·五 分组计数)。发布成功后自动运行,结果写入latest.json.doc_sync,仅告警不阻断;独立用法python3 scripts/doc_sync_check.py --strict。 - 真实数据不被重新格式化 ——
update_bond_etf.py原样保留源串(81.80不再被str(float)写成81.8)。 - L0-3 缺失分支格式化修复 —— 原输出原始浮点(
金 0.12256460657917856)→ 统一%+.2f%%/ "缺"。 - 测试套件 15 → 22 项 —— 新增
BondLegTests(3:刷新失败不阻断 / 跳过开关 / 增量不覆盖旧日期)+DocSyncTests(4:一致即零告警 / 面板行数漂移告警 / 快照缺失告警 / L0-3 口径回退告警)。
v4.2 新增(2026-09-23):
- 债券腿一键日更 ——
scripts/refresh_bond_etf.sh:绕过 shell 代理(HTTPS_PROXY拒绝 curl/requests),改用minis-browser-use fetch直连 eastmoney(http 200,免 key);坑位已封装:浏览器落盘名为秒级时间戳,连续抓取会互相覆盖,必须「抓一个→立即另存→再抓下一个」。 - 真实债券回报入 L0-3 —— 合并后 AGG 覆盖至目标日 → L0-3 由「收益率代理(部分可评估)」升级为「可评估(含真实债券价格)」(本日 AGG +0.26%,未触发三杀)。
- 增量合并不补数 ——
update_bond_etf.py旧日期不覆盖,仅追加新日期;无新日期打印 pending 提示,符合"禁止前值填充"口径。 - 发布稳定性 —— 实测即便 2.9GB free,后台运行仍可能被静默 kill(无
完成:行);默认加DK_DISABLE_MCAL=1后一次跑通。 - 交接包升级 —— 每日发布运行提示词 v4.2:新增第 0 步债券腿日更、武器库实测结论表、排版同步清单、静默 kill 处置。
完整报告:optimization/报告/系统架构优化报告_2026-09-22|系统架构优化报告 v4.0(备份 / 变更清单 / 回滚)。
相关入口
- 索引与登记:00 驾驶舱(投资MOC)(AUTO:INDEX 由
scripts/moc_index.py维护) - 数据源与可信度:数据库说明 | 口径唯一来源:框架/数据口径定义
- 操作手册:框架/使用指南 | 自动化技能:框架/技能/duckerry-daily-review SKILL